AI 图片制作

文生图 / 图生图能力拆分文档 —— 原理 · 模型与 API 格局 · 工作流 · 角色一致性 · 落地

1. 能力总览与原理

能力定义：AI 图片制作 = 文生图（文字→图片）、图生图（参考图→新图：改风格、局部重绘、扩图、放大）与对话式改图（多轮自然语言编辑同一张图）。典型用途：海报、电商图、概念设计、漫剧角色定稿、UI 素材。

原理：成品级图片生成全部走扩散模型路线——把随机噪声在隐空间里逐步"去噪"还原成图片。2026 年主流架构是 DiT（扩散 Transformer）+ 流匹配：用 Transformer 替代早期 U-Net 做去噪骨干，扩展性与画质更好。多模态 LLM（GPT-5.6 等）则把生图封装成内置工具：LLM 负责"理解需求 + 规划"，需要作图时调用扩散模型渲染——"LLM 理解 + 扩散生成"是工业界主流分工，自回归直接生成像素效率低、质量差。

图1：AI 图片生成技术栈（组件图）

2. 模型与 API 格局

海外：OpenAI 的 Images API 是产品集成首选——现役模型 gpt-image-2（官方目录中的 SOTA 文生图模型），支持 generations（生成）/ edits（编辑）两个端点，也能在 Responses API 里当内置工具调用，让 LLM 在对话中"边想边画"、多轮改图、流式输出。注意旧版正在淘汰：gpt-image-1 于 2026-10-23 关停、gpt-image-1.5 与 gpt-image-1-mini 于 2026-12-01 关停，官方推荐统一替换为 gpt-image-2。Google 走 Gemini 原生生图路线（图理解与生图同一模型）。Midjourney 画质美学强但不提供公开 API，只能订阅使用。

国产：即梦（字节）、可灵（快手）、通义万相（阿里）、豆包、文心一格、CogView（智谱）都提供云 API，约 ¥0.1–0.5/张，中文语义理解好、价格约为海外几分之一、合规无忧，是国内业务的默认选择。

开源：FLUX（Black Forest Labs）与 SD 系（Stable Diffusion，Stability AI）是开源文生图两大代表（FLUX 画质更高、SD 生态更大），可本地部署或经 Replicate/fal 按次云调用，配合 LoRA/ControlNet 可控性最强。

2.1 API 选型对比

3. 文生图工作流

标准流程：明确需求（风格/尺寸/用途）→ LLM 辅助扩写提示词 → 调 API 生成 → 不满意就多轮编辑（对话式改图或 inpaint 局部重绘）→ 需要角色一致性就挂 IP-Adapter/LoRA → 放大与后处理 → 交付。生成的图片 URL 通常限时有效，生产环境要及时转存到自己的对象存储。

图2：文生图标准工作流（活动图）

API 调用示例（OpenAI Images API，其余厂商结构类似）：

curl https://api.openai.com/v1/images/generations \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-image-2",
    "prompt": "赛博朋克风格城市夜景海报，霓虹灯，雨后地面反光，竖版",
    "size": "1024x1536"
  }'
# 返回 base64 图片数据；编辑走 /v1/images/edits（原图+掩码+指令）
# Responses API 中作为内置工具：LLM 在对话里自动决定何时作图、多轮修改

4. 角色一致性

问题：扩散模型每次生成都是重新"去噪"，同一个角色画两次脸就变了——而漫剧、绘本、IP 周边需要角色跨图一致。

解法（按可控性排序）：

• 参考图机制：生成时传角色参考图作条件（图生图 / gpt-image-2 多轮编辑在同一张图上改，天然一致）。
• IP-Adapter / FaceID：把参考图的人脸/形象特征注入生成过程，开源生态最常用。
• LoRA 微调：用角色图集（约 20–50 张）训练一个小补丁模型，风格与角色锁得最死；配合 FLUX/SD 本地产线用。
• 工程约定：每角色固定 3–5 张标准参考图（正面/侧面/全身/表情），提示词里角色描述模板化。

5. 终端产品 vs API

6. 典型场景与落地建议

本文为《AI 核心应用》按能力拆分的图片制作分册，2026 年 8 月整理。视频制作见《AI 视频制作》，总览见《AI 核心应用》《AI 应用全景》。